Perché sur un éperon rocheux entouré de ravins, en contrebas du village, le château de Saissac semble s'avancer dangereusement dans la vallée de la Vernassonne.

Le château d'origine fut construit au Xème siècle, mais les ruines encore existantes datent des remaniements effectués à partir du XIIIème siècle.

Il appartenait à la puissante famille de Saissac, qui, dès le XIème siècle, représentait l'une des grandes dynasties occitanes, vassales des vicomtes de Carcassonne. Lors de la croisade, le château fut assiégé par Simon de Montfort, en 1209. Dès lors, il ne cessa de passer de familles en familles, avant de tomber en ruines après la Révolution. En 1862, il fit l'objet de pillages.

Du château fort subsistent des ruines imposantes partiellement restaurées, étagées sur trois terrasses. Parmi elles, on reconnaît les vestiges d'un puissant donjon polygonal et, au fond d'une cour intérieure, deux échauguettes.